تشخیص زبان اشاره فارسی با استفاده از کینکت

ناشنوایان برای ارتباط با دیگران از زبان اشاره استفاده می کنند. فهم این زبان برای دیگران امری مشکل است و معمولاً نیاز به مترجم دارند. هدف این تحقیق طراحی و ساخت مترجم زبان اشاره فارسی است. داده عمق کینکت به نور محیط وابسته نیست، بنابراین ویژگی های استخراج شده از آن در محیط های مختلف تغییر ناپذیر می باشد. برای به دست آوردن یک سیستم پایدار در این تحقیق تنها از داده های عمق برای استخراج ویژگی استفاده گردیده است. در این پژوهش با استفاده از کینکت بیست و شش علامت از الفبای زبان اشاره فارسی تشخیص داده شده است. ابتدا با استفاده از داده های کینکت اسکلت بدن به دست آمده است. سپس زاویه بازوی دست راست نسبت به خط افق محاسبه شده و بر اساس این زاویه الفبای زبان اشاره به سه گروه تقسیم گردیده اند. آن گاه برای هر گروه یک پنجره مناسب که بتواند دست را از پس زمینه جدا کند در نظر گرفته شده و دست از سایر قسمت های بدن و پس زمینه جدا گردیده است. سپس در قسمت جدا شده نزدیک ترین نقطه به دوربین را محاسبه کرده، و نقاطی که در فاصله دورتر از یک مقدار مشخص از آن نقطه قرار دارند، حذف گردیده اند. مقدار آستانه برای حذف عمق برای هر دسته به صورت متفاوت تعیین شده است تا بهترین جداسازی انجام گیرد. سپس برای حذف اغتشاش، بزرگ ترین قطعه متصل در تصویر پیدا شده و مابقی نقاط حذف گردیده اند. پس از جدا سازی دست از پس زمینه، فیلتر گابور در 6 جهت و 5 مقیاس بر روی تصویر دست اعمال شده است. بدین ترتیب 30 تصویر به دست می آید که انرژی و میانگین هر کدام محاسبه می گردد. پس از این مرحله الگوریتم کاهش بعد lda را بر روی این ویژگی ها اعمال می کنیم. برای دسته بندی از ماشین های بردار پشتیبان و دسته بند بیز استفاده شده است. برای آزمایش روش پیشنهادی پایگاه داده ای به کمک 20 نفر تهیه شده است. دقت به دست آمده برای هر گروه بیش از 91 درصد می باشد. برای مقایسه بهتر دقت روش پیشنهادی برای استخراج ویژگی، این روش بر روی پایگاه داده ای از زبان اشاره آمریکایی آزمایش گردیده است. دقت به دست آمده بر روی این پایگاه داده بیش از 82 درصد بوده است که از نتایجی که تاکنون بر روی این پایگاه داده گزارش شده، بهتر می باشد.